הרצאה 9 - למידת אונליין באמצעות PCA

מסתמכת על עקרונות ה PCA

שגיאת השחזור הריבועית:

\begin{matrix} ε = \frac{1}{2} ∥ \vec{x} - \hat{x} ∥^{2} = \frac{1}{2} ∥ \vec{x} - y \vec{w} ∥^{2} = \frac{1}{2} ∥ \vec{x} - (\vec{w} \cdot \vec{x}) \vec{w} ∥^{2} \end{matrix}

ירידה במורד הגרדיאנט:

Δ w_{i} = - η \frac{\partial ε}{\partial w_{i}} = η (x_{i} y - y^{2} w_{i} + y x_{i} (1 - ∥ \vec{w} ∥^{2}))

לאחר שגזרנו, נוכל לראות כי קיבלנו כלל צעד ירידה במורד הגרדיאנט שכולל איבר שאינו לוקלי ( $\vec{w}$ במקום $w_{i}$ )
אם נשווה את הכלל למוח, העבודה שיש איבר לא לוקלי משמעו שעדכון של סינספה אחת תלוי בכל הסינפסות האחרות -> לא תואם בפועל ביולוגית.

כלל Oja:

Δ w_{i} = η (x_{i} y - y^{2} w_{i}) = η (x_{i} - y w_{i}) y

אם נזרוק את האיבר הלא לוקלי, נקבל את כלל Oja, אך לא ניתן לבצע כאן ירידה במורד הגרדיאנט, מכיוון ששינינו את הגזירה
רשת נוירונים שלומדת לפי כלל Oja תתכנס ל PC1 (הוקטור העצמי עם הערך העצמי הגדול ביותר)

כלל סנגר:

Δ W_{i}^{l} = η y_{l} [(x_{i} - \sum_{k = 1}^{l - 1} y_{k} w_{i}^{k}) - y_{l} w_{i}^{l}]

מסתמך על כלל Oja, ומאפשר לנו להשתמש בו כדי לקבל מספר רכיבים עיקריים על ידי חיסור הרכיבים הקודמים כאשר מחשבים כל רכיב
לדוגמא: עבור המשקולות שנכנסות אל הפלט (הרכיב) הראשון, משתמשים בכלל Oja רגיל.
$Δ w_{i}^{1} = η (x_{i} - y_{1} w_{i}^{1}) y_{1}$
עבור הרכיב השני, המשקולות מאומנות עם כלל Oja המופעל על הקלטים לאחר שהפחתנו מהם את השחזור לפי הפלט הראשון:
$Δ w_{i}^{2} = η (x_{i} - y_{1} w_{i}^{1} - y_{2} w_{i}^{2}) y_{2}$